evaluate-rag

import%20marimo%0A%0A__generated_with%20%3D%20%220.13.15%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20Imports%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20torch%0A%20%20%20%20import%20re%0A%20%20%20%20import%20pandas%20as%20pd%0A%0A%20%20%20%20from%20evaluation%20import%20GeneralEvalSet%2C%20Evaluation%0A%20%20%20%20from%20chunker%20import%20BaseChunker%2C%20RecursiveTokenChunker%0A%0A%20%20%20%20from%20chromadb.utils%20import%20embedding_functions%0A%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20BaseChunker%2C%0A%20%20%20%20%20%20%20%20Evaluation%2C%0A%20%20%20%20%20%20%20%20GeneralEvalSet%2C%0A%20%20%20%20%20%20%20%20Path%2C%0A%20%20%20%20%20%20%20%20RecursiveTokenChunker%2C%0A%20%20%20%20%20%20%20%20embedding_functions%2C%0A%20%20%20%20%20%20%20%20re%2C%0A%20%20%20%20%20%20%20%20torch%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20Setup%20code%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(torch)%3A%0A%20%20%20%20device%20%3D%20%22cuda%22%20if%20torch.cuda.is_available%20else%20%22cpu%22%0A%20%20%20%20print(f%22Using%20CUDA%20%3F%20%7B'YES'%20if%20device%20%3D%3D%20'cuda'%20else%20'NO'%7D%22)%0A%20%20%20%20if%20device%3A%0A%20%20%20%20%20%20%20%20print(f%22GPU%3A%20%7Btorch.cuda.get_device_name(0)%7D%22)%0A%20%20%20%20return%20(device%2C)%0A%0A%0A%40app.function%0Adef%20print_metrics(results)%3A%0A%20%20%20%20metrics%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Recall%22%3A%20(results%5B%22recall_mean%22%5D%2C%20results%5B%22recall_std%22%5D)%2C%0A%20%20%20%20%20%20%20%20%22Precision%22%3A%20(results%5B%22precision_mean%22%5D%2C%20results%5B%22precision_std%22%5D)%2C%0A%20%20%20%20%20%20%20%20%22Precision%20%CE%A9%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20results%5B%22precision_omega_mean%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20results%5B%22precision_omega_std%22%5D%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22IoU%22%3A%20(results%5B%22iou_mean%22%5D%2C%20results%5B%22iou_std%22%5D)%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20for%20metric%2C%20(mean%2C%20std)%20in%20metrics.items()%3A%0A%20%20%20%20%20%20%20%20print(f%22%7Bmetric%7D%3A%20%7Bmean%3A.4f%7D%20%C2%B1%20%7Bstd%3A.4f%7D%22)%0A%0A%0A%40app.cell%0Adef%20_(device%2C%20embedding_functions)%3A%0A%20%20%20%20embedding_function%20%3D%20embedding_functions.SentenceTransformerEmbeddingFunction(%0A%20%20%20%20%20%20%20%20model_name%3D%22all-mpnet-base-v2%22%2C%0A%20%20%20%20%20%20%20%20device%3Ddevice%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(embedding_function%2C)%0A%0A%0A%40app.cell%0Adef%20_(GeneralEvalSet%2C%20Path)%3A%0A%20%20%20%20general_set%20%3D%20GeneralEvalSet(%0A%20%20%20%20%20%20%20%20general_benchmark_path%3DPath(%22datasets%2Fgeneral_evaluation%22)%0A%20%20%20%20)%0A%20%20%20%20return%20(general_set%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20Custom%20SentenceChunker%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(BaseChunker%2C%20re)%3A%0A%20%20%20%20class%20SentenceChunker(BaseChunker)%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20sentences_per_chunk%3A%20int%20%3D%203)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Initialize%20the%20chunker%20with%20the%20number%20of%20sentences%20per%20chunk%0A%20%20%20%20%20%20%20%20%20%20%20%20self.sentences_per_chunk%20%3D%20sentences_per_chunk%0A%0A%20%20%20%20%20%20%20%20def%20split_text(self%2C%20text%3A%20str)%20-%3E%20list%5Bstr%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Handle%20the%20case%20where%20the%20input%20text%20is%20empty%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20text%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Split%20the%20input%20text%20into%20sentences%20using%20regular%20expression%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Regex%20looks%20for%20white%20space%20following%20.%20!%20or%20%3F%20and%20makes%20a%20split%0A%20%20%20%20%20%20%20%20%20%20%20%20sentences%20%3D%20re.split(r%22(%3F%3C%3D%5B.!%3F%5D)%5Cs%2B%22%2C%20text)%0A%20%20%20%20%20%20%20%20%20%20%20%20chunks%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Group%20sentences%20into%20chunks%20based%20on%20the%20specified%20number%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(0%2C%20len(sentences)%2C%20self.sentences_per_chunk)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Combine%20sentences%20into%20a%20single%20chunk%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20chunk%20%3D%20%22%20%22.join(sentences%5Bi%20%3A%20i%20%2B%20self.sentences_per_chunk%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20chunks.append(chunk)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Return%20the%20list%20of%20chunks%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20chunks%0A%0A%20%20%20%20return%20(SentenceChunker%2C)%0A%0A%0A%40app.cell%0Adef%20_(SentenceChunker%2C%20embedding_function%2C%20general_set)%3A%0A%20%20%20%20sentence_chunker%20%3D%20SentenceChunker(sentences_per_chunk%3D10)%0A%0A%20%20%20%20sent_collection%2C%20sent_questions_collection%20%3D%20general_set.get_collections(%0A%20%20%20%20%20%20%20%20sentence_chunker%2C%0A%20%20%20%20%20%20%20%20embedding_function%2C%0A%20%20%20%20)%0A%20%20%20%20return%20sent_collection%2C%20sent_questions_collection%0A%0A%0A%40app.cell%0Adef%20_(Evaluation%2C%20sent_collection%2C%20sent_questions_collection)%3A%0A%20%20%20%20_eval%20%3D%20Evaluation(%0A%20%20%20%20%20%20%20%20%22datasets%2Fgeneral_evaluation%2Fquestions_df.csv%22%2C%0A%20%20%20%20%20%20%20%20sent_collection%2C%0A%20%20%20%20%20%20%20%20sent_questions_collection%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_results%20%3D%20_eval.evaluate(retrieve%3D5)%0A%0A%20%20%20%20print_metrics(_results)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20RecursiveTokenChunker%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(RecursiveTokenChunker%2C%20embedding_function%2C%20general_set)%3A%0A%20%20%20%20chunker%20%3D%20RecursiveTokenChunker(chunk_size%3D1000%2C%20chunk_overlap%3D200)%0A%0A%20%20%20%20collection%2C%20questions_collection%20%3D%20general_set.get_collections(%0A%20%20%20%20%20%20%20%20chunker%2C%0A%20%20%20%20%20%20%20%20embedding_function%2C%0A%20%20%20%20%20%20%20%20%23%20db_to_save_chunks%3D%22chroma_db%2Fgeneral_chunks_db%2F%22%2C%0A%20%20%20%20%20%20%20%20%23%20db_to_save_questions%3D%22chroma_db%2Fgeneral_questions_db%2F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20collection%2C%20questions_collection%0A%0A%0A%40app.cell%0Adef%20_(Evaluation%2C%20collection%2C%20questions_collection)%3A%0A%20%20%20%20_eval%20%3D%20Evaluation(%0A%20%20%20%20%20%20%20%20%22datasets%2Fgeneral_evaluation%2Fquestions_df.csv%22%2C%0A%20%20%20%20%20%20%20%20collection%2C%0A%20%20%20%20%20%20%20%20questions_collection%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_results%20%3D%20_eval.evaluate(retrieve%3D5)%0A%0A%20%20%20%20print_metrics(_results)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20%20Synthetic%20Data%20Evaluation%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Path)%3A%0A%20%20%20%20import%20os%0A%20%20%20%20from%20dotenv%20import%20load_dotenv%0A%0A%20%20%20%20load_dotenv()%0A%20%20%20%20openai_api_key%20%3D%20os.getenv(%22OPENAI_API_KEY%22)%0A%0A%20%20%20%20corpora_dir_path%20%3D%20Path(%22datasets%2Fraydocs_full%22)%0A%0A%20%20%20%20corpora_paths%20%3D%20%5Bpath%20for%20path%20in%20corpora_dir_path.rglob(%22*%22)%20if%20path.is_file()%5D%0A%0A%20%20%20%20queries_csv_path%20%3D%20%22datasets%2Fraydocs-generated-queries-and-excerpts.csv%22%0A%20%20%20%20return%20corpora_paths%2C%20openai_api_key%2C%20queries_csv_path%0A%0A%0A%40app.cell%0Adef%20_(corpora_paths%2C%20openai_api_key%2C%20queries_csv_path)%3A%0A%20%20%20%20from%20evaluation%20import%20SyntheticEvalSet%0A%0A%20%20%20%20synth_set%20%3D%20SyntheticEvalSet(%0A%20%20%20%20%20%20%20%20corpora_paths%2C%0A%20%20%20%20%20%20%20%20queries_csv_path%2C%0A%20%20%20%20%20%20%20%20openai_api_key%3Dopenai_api_key%2C%0A%20%20%20%20%20%20%20%20prompt_path%3D%22datasets%2Fprompts%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20return%20SyntheticEvalSet%2C%20synth_set%0A%0A%0A%40app.cell(disabled%3DTrue)%0Adef%20_(synth_set)%3A%0A%20%20%20%20synth_set.generate_queries_and_excerpts(%0A%20%20%20%20%20%20%20%20approximate_excerpts%3DTrue%2C%0A%20%20%20%20%20%20%20%20num_rounds%3D1%2C%0A%20%20%20%20%20%20%20%20queries_per_corpus%3D3%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(disabled%3DTrue)%0Adef%20_(synth_set)%3A%0A%20%20%20%20synth_set.filter_poor_excerpts()%0A%20%20%20%20synth_set.filter_duplicates()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(RecursiveTokenChunker%2C%20embedding_function%2C%20synth_set)%3A%0A%20%20%20%20_chunker%20%3D%20RecursiveTokenChunker(%0A%20%20%20%20%20%20%20%20chunk_size%3D1000%2C%0A%20%20%20%20%20%20%20%20chunk_overlap%3D200%2C%0A%20%20%20%20)%0A%0A%0A%20%20%20%20synth_collection%2C%20synth_questions_collection%20%3D%20%20(%20%0A%20%20%20%20%20%20%20%20synth_set.get_collections(%0A%20%20%20%20%20%20%20%20%20%20%20%20_chunker%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20embedding_function%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20return%20synth_collection%2C%20synth_questions_collection%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20Evaluation%2C%0A%20%20%20%20queries_csv_path%2C%0A%20%20%20%20synth_collection%2C%0A%20%20%20%20synth_questions_collection%2C%0A)%3A%0A%20%20%20%20_eval%20%3D%20Evaluation(%0A%20%20%20%20%20%20%20%20queries_csv_path%2C%0A%20%20%20%20%20%20%20%20synth_collection%2C%0A%20%20%20%20%20%20%20%20synth_questions_collection%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_results%20%3D%20_eval.evaluate(retrieve%3D5)%0A%20%20%20%20print_metrics(_results)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20Evaluation%2C%0A%20%20%20%20SentenceChunker%2C%0A%20%20%20%20SyntheticEvalSet%2C%0A%20%20%20%20corpora_paths%2C%0A%20%20%20%20embedding_function%2C%0A%20%20%20%20openai_api_key%2C%0A%20%20%20%20queries_csv_path%2C%0A)%3A%0A%20%20%20%20_chunker%20%3D%20SentenceChunker(%0A%20%20%20%20%20%20%20%20sentences_per_chunk%3D10%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_synth_set%20%3D%20SyntheticEvalSet(%0A%20%20%20%20%20%20%20%20corpora_paths%2C%0A%20%20%20%20%20%20%20%20queries_csv_path%2C%0A%20%20%20%20%20%20%20%20openai_api_key%3Dopenai_api_key%2C%0A%20%20%20%20%20%20%20%20prompt_path%3D%22datasets%2Fprompts%22%2C%0A%20%20%20%20)%0A%0A%0A%20%20%20%20sent_synth_collection%2C%20sent_synth_questions_collection%20%3D%20%20(%20%0A%20%20%20%20%20%20%20%20_synth_set.get_collections(%0A%20%20%20%20%20%20%20%20%20%20%20%20_chunker%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20embedding_function%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20_eval%20%3D%20Evaluation(%0A%20%20%20%20%20%20%20%20queries_csv_path%2C%0A%20%20%20%20%20%20%20%20sent_synth_collection%2C%0A%20%20%20%20%20%20%20%20sent_synth_questions_collection%2C%0A%20%20%20%20)%0A%0A%20%20%20%20results%20%3D%20_eval.evaluate(retrieve%3D5)%0A%20%20%20%20print_metrics(results)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20Evaluate%20fine-tuned%20embedding%20model%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(device%2C%20embedding_functions)%3A%0A%20%20%20%20finetuned_ef%20%3D%20embedding_functions.SentenceTransformerEmbeddingFunction(%0A%20%20%20%20%20%20%20%20model_name%3D%22thanhpham1%2FFine-tune-all-mpnet-base-v2%22%2C%0A%20%20%20%20%20%20%20%20device%3Ddevice%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(finetuned_ef%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20With%20RecursiveTokenChunking%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20Evaluation%2C%0A%20%20%20%20RecursiveTokenChunker%2C%0A%20%20%20%20SyntheticEvalSet%2C%0A%20%20%20%20corpora_paths%2C%0A%20%20%20%20finetuned_ef%2C%0A%20%20%20%20openai_api_key%2C%0A%20%20%20%20queries_csv_path%2C%0A)%3A%0A%20%20%20%20_chunker%20%3D%20RecursiveTokenChunker(%0A%20%20%20%20%20%20%20%20chunk_size%3D1200%2C%0A%20%20%20%20%20%20%20%20chunk_overlap%3D100%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_synth_set%20%3D%20SyntheticEvalSet(%0A%20%20%20%20%20%20%20%20corpora_paths%2C%0A%20%20%20%20%20%20%20%20queries_csv_path%2C%0A%20%20%20%20%20%20%20%20openai_api_key%3Dopenai_api_key%2C%0A%20%20%20%20%20%20%20%20prompt_path%3D%22datasets%2Fprompts%22%2C%0A%20%20%20%20)%0A%0A%0A%20%20%20%20_sent_synth_collection%2C%20_sent_synth_questions_collection%20%3D%20%20(%20%0A%20%20%20%20%20%20%20%20_synth_set.get_collections(%0A%20%20%20%20%20%20%20%20%20%20%20%20_chunker%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20finetuned_ef%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20_eval%20%3D%20Evaluation(%0A%20%20%20%20%20%20%20%20queries_csv_path%2C%0A%20%20%20%20%20%20%20%20_sent_synth_collection%2C%0A%20%20%20%20%20%20%20%20_sent_synth_questions_collection%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_results%20%3D%20_eval.evaluate(retrieve%3D5)%0A%20%20%20%20print_metrics(_results)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20With%20SentenceChunker%0A%0A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20Evaluation%2C%0A%20%20%20%20SentenceChunker%2C%0A%20%20%20%20SyntheticEvalSet%2C%0A%20%20%20%20corpora_paths%2C%0A%20%20%20%20finetuned_ef%2C%0A%20%20%20%20openai_api_key%2C%0A%20%20%20%20queries_csv_path%2C%0A)%3A%0A%20%20%20%20_chunker%20%3D%20SentenceChunker(%0A%20%20%20%20%20%20%20%20sentences_per_chunk%3D10%0A%20%20%20%20)%0A%0A%20%20%20%20_synth_set%20%3D%20SyntheticEvalSet(%0A%20%20%20%20%20%20%20%20corpora_paths%2C%0A%20%20%20%20%20%20%20%20queries_csv_path%2C%0A%20%20%20%20%20%20%20%20openai_api_key%3Dopenai_api_key%2C%0A%20%20%20%20%20%20%20%20prompt_path%3D%22datasets%2Fprompts%22%2C%0A%20%20%20%20)%0A%0A%0A%20%20%20%20_sent_synth_collection%2C%20_sent_synth_questions_collection%20%3D%20%20(%20%0A%20%20%20%20%20%20%20%20_synth_set.get_collections(%0A%20%20%20%20%20%20%20%20%20%20%20%20_chunker%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20finetuned_ef%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20_eval%20%3D%20Evaluation(%0A%20%20%20%20%20%20%20%20queries_csv_path%2C%0A%20%20%20%20%20%20%20%20_sent_synth_collection%2C%0A%20%20%20%20%20%20%20%20_sent_synth_questions_collection%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_results%20%3D%20_eval.evaluate(retrieve%3D5)%0A%20%20%20%20print_metrics(_results)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A